Nat Commun︱小动物自由状态大脑皮层活动监测技术新进展：智能光纤双光子显微镜

撰文︱李大为

责编︱王思珍

当生物彼此交流、被美味吸引、行走跳跃的时候，大脑是怎么工作的？在小动物模型的头上开一个窗，利用一种具有亚细胞分辨率的显微镜实时观察神经元的活动也许能够帮助我们了解这种相关性。双光子荧光显微镜观测GCaMP6（一种遗传编码的钙指示剂，GECI）转基因小鼠大脑皮层神经元的亮起和熄灭是目前研究这种相关性的有效手段[1]。为完成这类实验，小动物模型通常需要被固定在显微镜的镜头下，这种固定及其带来的身体压力不可避免地会影响神经元活动。同时神经科学领域也存在很多研究希望能够对自由活动的动物进行观察，例如在攀爬和社交互动等动物行为过程中观测大脑皮层的活动[2]，因此需要一种能“戴在”小动物头上“跟着动物跑”的显微镜。目前几个研发团队相继开发出微型化双光子内窥显微镜[3-5]，为研究自由状态下的动物行为与大脑皮层神经元活动的相关性提供了可能性[6]。其中约翰霍普金斯大学团队（https://bit.bme.jhu.edu）研发了双光子光纤显微镜结构简单、体积小（2-3mm）、重量超轻（0.6 g）、稳定性高[7, 8]。然而其结构以及重量的极致追求限制了光机电器件的选择，影响了成像帧率（<5 fps），较难满足对神经元以及树突进行高速追踪[9]。

2022年3月22日，约翰霍普金斯大学的李兴德教授课题组、乔治华盛顿大学的吕辉教授课题组及康宁公司的李明军博士合作在《自然∙通讯》（Nature Communications）上发表了题为“Deep-learning two-photon fiberscopy for video-rate brain imaging in freely-behaving mice”的研究论文，提出了基于人工智能增强的高速光纤双光子显微镜，可以用于在小动物自由活动状态下对其大脑皮层活动的实时观察。官弘华和李大为为论文共同第一作者，李兴德教授为论文通讯作者。在此项研究中，课题组开发了高速稀疏采样光纤扫描双光子显微镜，成像帧率提高10倍以上达到26fps，并利用深度学习架构进行图像增强，提供更好图像质量。该工作为监测小动物模型长时间自由活动下的神经元活动提供了方案。

约翰霍普金斯大学团队研发的超轻型双光子光纤显微镜的核心部件包括：单根用于发射激发信号和接收荧光信号的双包层光纤（double-clad fiber）、一个用于产生扫描模式的微型压电陶瓷管驱动器和一个消色差微物镜。在进行自由动物大脑皮层观测时，光纤显微镜首先被附着在动物的头部，让动物带着显微镜活动。在动物活动时，飞秒激光通过光纤传导透过透过物镜激聚焦到目标大脑区域，并在压电陶瓷驱动器的控制下扫描整个视野（FOV），被扫描的区域在激光激发下产生的荧光被物镜收集通过光纤内包层传输至光电转化模块，进而重构成图像（图1a）。

图1 （a）光纤双光子显微镜使用图；（b）高扫描密度扫描及重构图像；（c）稀疏扫描，重构图像以及经过深度神经网络增强的图像。

图像的帧率由扫描速度（线扫描速率）以及扫描密度（线密度）决定。为了得到满足观测要求的图像质量，项目组在之前的工作中采用低扫描速度高扫描密度光纤显微镜进行信号采集[4]（图1b）。为了提高帧率，项目组重新设计了高速稀疏扫描光纤显微镜[10]。然而扫描速度的提高会缩短像素停留时间因而牺牲信噪比（SNR），同时较低的扫描密度会牺牲成像分辨率。项目组利用深度神经网络（DNN）提高图像的信噪比和恢复分辨率，可以将在高帧率下采集到的低信噪比低分辨率的图像增强为具有高信噪比高分辨率的图像。该网络可以被理解为以下两者的结合：（1）针对双光子系统定制的去噪滤波器；（2）针对小鼠大脑皮层建立的高低分辨率的神经结构对应关系。另外，经过DNN增强的图像较少受到运动伪影（motion artifacts）的影响，图像质量甚至可以优于在低扫描速度高扫描密度条件下而采集到的图像质量（图1c）。

项目组采用监督学习对DNN进行训练。监督学习训练方案需要成对的图像（包括输入/input 和参考标准/ground truth）作为训练集。该方案的优点是可以减少对于训练集图像数量的要交并达到像素级的精度。该方案的弱点是DNN性能高度依赖于训练集的质量，尤其是参考标准（ground truth）的质量。换而言之，为了把在高速（低信噪比）稀疏扫描（低分辨率）下采集的图像通过DNN增强为高信噪比高分辨率的图像，DNN需要由增强前（作为input）和增强后（作为ground truth）的图像进行训练（图2a）。然而，在自由活体(in vivo)上通过高速稀疏光纤显微镜采集的图像的ground truth是不存在的（否则采用这种已有的图像增强方案就可以了）。

为了在没有最终ground truth的情况下训练神经网络，文章采用了二步制阶段训练神经网络（图2c）。第一阶段使用离体成像数据训练神经网络1（DNN-1）学习光纤双光子显微镜系统噪声分布，使其具有提高信噪比的能力。第二阶段，重点学习低分辨率神经结构与高分辨率神经结构之间的对应关系：采集高扫描密度活体数据，利用该活体数据合成训练集（1）利用DNN-1对活体数据进行去噪增强作为ground truth；（2）模拟稀疏采样扫描模式对该数据进行降采样作为训练输入。然后利用该训练集训练兼具提升信噪比和分辨率的能力神经网络2（DNN-2）。训练后的DNN-2可以将在高帧率下采集到的自由活体数据增强为具有高信噪比高分辨率的数据。

图2 （a）神经网络的训练；（b）利用训练的神经网络进行图像增强；（c）神经网络的训练流程。

（图源：Guan H H, et al., Nat Commun, 2022）

文章结论与讨论，启发与展望

在给定成像条件的情况下，提高成像质量是光学成像系统设计永恒的追求。改良光学设计，挖掘硬件潜力是光学成像系统的主要考虑。先进成像算法，例如深度学习算法的迅速发展为光学成像系统的性能提升提供了更多思路。本文描述了一个超轻双光子光纤显微镜系统，在对系统进行最小化改进的情况下，利用神经网络的实现了成像质量的显著提升，为观察自由小动物大脑皮层活动高速（~26 fps）提供了解决方案。在训练神经网络的过程中，训练集的构建是核心问题之一，本文提供了一种在缺乏参考标准下构建训练集的方案，进而实现了神经网络的有效训练。本文对于图像增强效果的评价依赖于峰值信噪比、结构相似性以及人眼评价，更有效的评价标准亟待开发。另外尽管本项目已遍历测试集的所有数据，但边角案例是否会产生伪影，有待进一步探讨。

原文链接：https://doi.org/10.1038/s41467-022-29236-1 

通讯作者李兴德教授（右一）,共同第一作者官弘华(右二)，共同第一作者李大为（右三）

（照片提供自：约翰霍普金斯大学李兴德实验室）

往期文章精选

优质科研培训课程推荐

参考文献（上下滑动阅读）  

1.J. N. D. Kerr and W. Denk, "Imaging in vivo: watching the brain in action," Nature Reviews Neuroscience 9(3):195-205 (2008).

2.P. Jercog, T. Rogerson, and M. J. Schnitzer, "Large-Scale Fluorescence Calcium-Imaging Methods for Studies of Long-Term Memory in Behaving Mammals," Cold Spring Harb Perspect Biol 8(5) (2016).

3.Y. Y. Zhang, M. L. Akins, K. Murari, J. F. Xi, M.-J. Li, K. Luby-Phelps, M. Mahendroo, and X. D. Li, "A compact fiber-optic SHG scanning endomicroscope and its application to visualize cervical remodeling during pregnancy," Proceedings of the National Academy of Sciences 109(32):12878-12883 (2012).

4.W. X. Liang, G. Hall, B. Messerschmidt, M.-J. Li, and X. D. Li, "Nonlinear optical endomicroscopy for label-free functional histology in vivo," Light: Science & Applications 6(-):e17082 (2017).

5.A. Lombardini, V. Mytskaniuk, S. Sivankutty, E. R. Andresen, X. Chen, J. Wenger, M. Fabert, N. Joly, F. Louradour, A. Kudlinski, and H. Rigneault, "High-resolution multimodal flexible coherent Raman endoscope," Light: Science & Applications 7(1):10 (2018).

6.W. Zong, R. Wu, M. Li, Y. Hu, Y. Li, J. Li, H. Rong, H. Wu, Y. Xu, Y. Lu, H. Jia, M. Fan, Z. Zhou, Y. Zhang, A. Wang, L. Chen, and H. Cheng, "Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice," Nature Methods 14(7):713-719 (2017).

7.H. Guan, W. Liang, A. Li, Y.-T. A. Gau, D. Chen, M.-J. Li, D. E. Bergles, and X. D. Li, "Multicolor fiber-optic two-photon endomicroscopy for brain imaging," Optics Letters 46(5):1093-1096 (2021).

8.A. Li, H. Guan, H. C. Park, Y. Yue, D. Chen, W. Liang, M.-J. Li, H. Lu, and X. D. Li, "Twist-free ultralight two-photon fiberscope enabling neuroimaging on freely rotating/walking mice," Optica 8(6):870-879 (2021).

9.C. C. Chen, J. Lu, and Y. Zuo, "Spatiotemporal dynamics of dendritic spines in the living brain," Front Neuroanat 8(28 (2014).

10.H.-C. Park, H. Guan, A. Li, Y. Yue, M.-J. Li, H. Lu, and X. D. Li, "High-speed fiber-optic scanning nonlinear endomicroscopy for imaging neuron dynamics in vivo," Optics Letters 45(13):3605-3608 (2020).

制版︱王思珍

本文完